Trong bộ tiểu thuyết "Tam Quốc diễn nghĩa" của La Quán Trung, Tư Mã Huy xuất hiện ở Chương 37: "Tư Mã hai lần tiến cử danh sĩ, Lưu Bị ba phen tới thảo lư", là một nhân vật phụ xuất hiện khá ngắn nhưng đủ nói lên được cái tài bao trùm thiên hạ của ông. Tam Quốc diễn nghĩa mô tả Gia Cát Lượng và Bàng Thống là hai mưu sĩ hàng đầu, mệnh danh là "Long Phượng".

Lưu Bị một bữa bị lạc trong rừng, tình cờ đến nơi ẩn sĩ Tư Mã Huy cư ngụ. Biết danh Thủy Kính tiên sinh là người học rộng tài cao, Lưu Bị có hỏi trong thiên hạ liệu ai có thể đứng ra giúp đời. Tư Mã Huy mới nói: "Ngọa Long - Phượng Sồ, được một trong hai người, có thể an định thiên hạ". Lưu Bị mới sốt sắng hỏi Ngọa Long, Phượng Sồ là ai thì Tư Mã Huy mỉm cười không nói.

Một thời gian sau, có mưu sĩ tài ba là Từ Thứ đến đầu quân Lưu Bị, Tào Tháo biết chuyện căm tức, mới bắt nhốt mẹ Từ Thứ, ép bà viết thư đòi con về để phục vụ cho mình. Từ mẫu biết Tháo là kẻ độc ác gian hùm, nên tức giận quát mắng, Tháo mới giả mạo thư Từ mẫu, gọi Từ Thứ về. Từ Thứ tin là thật, gạt nước mắt chia tay Lưu Bị. Lưu Bị tiễn Từ Thứ trong niềm bi ai buồn bã vô cùng. Đi được nửa đường, Từ Thứ bỗng cưỡi ngựa quay lại, tiến cử cho Lưu Bị một người bạn của mình là Gia Cát Lượng.

Tư Mã Huy nghe nói Từ Thứ ở với Lưu Bị, mới đến hỏi thăm, nghe Lưu Bị nói chuyện đó, Tư Mã Huy dậm chân nói rằng Thứ đã trúng kế Tào, Từ mẫu tính tình cương nghị, phen này Thứ không về thì mẹ sống, mà về nhất định mẹ Từ Thứ sẽ chết. Lưu Bị sửng sốt, hồi lâu mới đem chuyện Gia Cát Lượng hỏi Tư Mã Huy.

Tư Mã Huy nói:

- Từ Thứ ra đi rồi thì chớ, còn làm phiền đến người này làm chi. Gia Cát Lượng ngồi nhàn ở Ngọa Long San, thường tự ví mình như Quản Trọng, Nhạc Nghị. Nhưng thực ra tài người này không thể tưởng tượng được, có thể ví như Khương Tử Nha làm nên sự nghiệp 800 năm nhà Chu, Trương Lương làm nên sự nghiệp 400 năm nhà Hán vậy. Ngọa Long mà bữa trước tôi nói với tướng quân, chính là Gia Cát Lượng, còn Phượng Sồ là Bàng Thống.

Lưu Bị nghe Tư Mã Huy thuyết giảng, như người tỉnh cơn mê, dứt khoát tìm gặp bằng được Gia Cát Lượng.

Nói rồi Tư Mã Huy trở về, tới cổng than thở một mình:

- Gia Cát Lượng gặp được minh chúa song không gặp thời. Đáng tiếc thay!.

Về sau, Gia Cát Lượng phò tá Lưu Bị trùng hưng Hán thất, lập nhà Thục Hán, tuy nhiên sự nghiệp thống nhất Trung nguyên của ông không thực hiện được, đành ngậm tiếc nuối mà qua đời. Điều này quả ứng nghiệm với những gì Tư Mã Huy nói. Đủ thấy tài nhìn người, đoán tương lai tài tình của Tư Mã Huy.